Scheduling Mixed RL Rollouts Beyond Prefix Locality
面向混合 RL 推理负载的 KV 缓存感知准入调度
🧭 LLM RL 混合负载推理调度优化 ★ 深度解读
Nanjing University · StepFun
路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。
📌 工作参考价值（4 点）
- 在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
- KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
- 自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
- 实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。